AI Papers Daily

#Speaker Diarization

2 篇

Qwen-Audio-3.1-ASR Technical Report

Qwen-Audio-3.1-ASR 技术报告

🧭 音频语言模型 · ASR 与说话人分离

Alibaba Token Foundry, Alibaba Group

在 Qwen-Audio-3.0-ASR 基础上扩展说话人分离与通用音频理解，覆盖多语言、多方言及流式/非流式部署

📌 工作参考价值（4 点）

• 统一音频语言模型可替代「ASR + 说话人分离 + 音频事件检测」多系统拼接，适合电商直播、客服会话等需结构化语音理解的场景；其输出 speaker labels + timestamps + text 可直接用于下游 Agent 做意图识别、摘要或推荐线索提取。
• 指令可控的历史上下文、分层热词定制、原生转录润色，对电商/搜索领域专有名词（品牌、商品名、黑话）识别有直接借鉴：把行业词表分层注入 ASR，可显著降低专有词错误率。
• 异步文件、低延迟流式、交互语音输入、非流式等变体展示了「按延迟/成本选择不同模型」的工程思路，适合在语音购物助手、实时直播字幕、离线质检等业务中做差异化部署。
• 说话人分离与重叠语音处理能力可用于多人客服对话、直播连麦分析，为后续推荐/搜索的用户建模提供更干净、带说话人标识的文本特征。

Multimodal | 2026-10-19 | HF Daily | score 7/10

ASRSpeaker DiarizationAudio UnderstandingMultimodalLow-latency StreamingInstruction-controlled

VibeVoice-ASR-Streaming Technical Report

VibeVoice-ASR-Streaming：LLM 流式说话人归因语音识别

🧭 LLM 流式说话人归因 ASR

Microsoft Research · University of Chinese Academy of Sciences · Shanghai Jiao Tong University

首个 LLM 端到端流式说话人归因 ASR 之一，交错音频块与少量前瞻音频实现低延迟“谁说了什么”输出

📌 工作参考价值（4 点）

• 面向实时语音 Agent/客服：统一 LLM 直接生成“说话人+转写”，省去独立说话人日志模块，降低级联错误与延迟；输入设计可参考 fixed-size audio chunks + 少量 lookahead audio + previous text 的拼接策略，在语音点单、售后沟通等场景实现流式结构化记录。
• 自托管替代商业 API：在电商/广告会议转录等数据敏感场景，7B/1.5B 开源模型在五个评测集 WER/CER 上平均最低，且 speaker attribution 在 12/13 设置最优或并列，可作为内部服务，避免数据外传并控制成本。
• 工程架构上，用少量前瞻音频而非整句缓存，能显著降低流式延迟；在 Agent 中可类似设计“当前 chunk + 短 lookahead + 上一轮文本”的上下文，减少重复识别和说话人切换丢失。
• 中文电商场景需注意：论文里的中文会议集 AISHELL-4、AliMeeting 上 CER 仍较高（约 30-50%），落地前应基于国内电商/客服语音数据做领域微调，尤其提升中文说话人归因和电商术语识别。

LLM | 2026-09-01 | HF Daily | score 6/10

ASRSpeaker DiarizationStreamingLLMSpeechLow-latency